Tháng giêng ÂL năm sau, đế đến Kiến Khang. Triều đình bàn việc hồi loan, có chiếu lấy Dương Tồn Trung sung chức Giang Hoài, Kinh Tương lộ tuyên phủ sứ, Doãn Văn làm phó. Các viên Cấp sự trung, Trung thư xá nhân phản đối việc bổ nhiệm Tồn Trung, vì thế ông được sung chức Xuyên Thiểm tuyên dụ sứ (sai khiển). Khi từ biệt, Doãn Văn đề nghị nhân lúc Kim đế mới lập mà đánh, đế cho là phải. Ông đến Thục, cùng đại tướng Ngô Lân bàn việc kinh lược Trung Nguyên, Lân tiến chiếm Phượng Tường, giành lại Củng Châu. Nhà Kim sửa sang quân đội tranh mấy châu quận mà nhà Tống mới giành lại ở Thiểm Tây, quân Thục muốn bỏ những nơi ấy, Doãn Văn giữ lại không được.

Hiếu Tông lên ngôi, triều thần bàn rằng nên lo việc phía tây, vì quân Tống tiến đánh, đông không qua khỏi Bảo Kê, bắc không qua khỏi Đức Thuận; vả còn muốn dùng những người trung nghĩa giữ những châu quận mới giành lại, quân Tống lui về giữ đất Thục. Doãn Văn tranh luận không được, Ngô Lân bèn lui về Hà Trì; chiếm thế áp đảo là kiến nghị của tham tri chính sự Sử Hạo, muốn bỏ hết Thiểm Tây, được đài gián Viên Quý, Nhiệm Cổ ủng hộ. ông lại dâng sớ, cho rằng muốn khôi phục đất đai của tiền nhân, phải bắt đầu từ Thiểm Tây, vốn đã giành lại được vài châu huyện; vả lại bỏ Thiểm thì Thục sẽ nguy; trước sau 15 đạo sớ. Hiếu Tông muốn hỏi Doãn Văn việc Thiểm Tây, các đại thần sợ ông về, nên cho làm Hiển Mô các Trực học sĩ (chức, tòng tam phẩm) Tri Quỳ Châu (sai khiển), nhưng ông vẫn được gọi về triều.

Năm Long Hưng đầu tiên (1163), Doãn Văn về triều. Sử Hạo làm tể tướng, ra sức thuyết phục đế bỏ đất, ông tâu rằng: "Ngày nay có 8 lẽ có thể đánh." Đế hỏi việc bỏ đất, Doãn Văn dùng hốt vẽ trên đất, trình bày lợi hại. Đế nói: "Đây là Sử Hạo mê hoặc trẫm." ông được làm Phu Văn các Đãi chế (chức, tòng tứ phẩm) Tri Thái Bình châu, rồi được nhận chức Binh bộ thượng thư (quan, tòng nhị phẩm), Hồ Bắc Kinh Tây tuyên phủ sứ, đổi làm chế trí sứ.

Khi ấy triều đình sai Lư Trọng Hiền đi sứ nước Kim để nghị hòa, Thang Tư Thoái lại muốn bỏ các châu Đường, Đặng, Hải, Tứ, cho rằng Đường, Đặng không phải nơi hiểm yếu, có thể bỏ qua. Doãn Văn 5 lần dâng sớ tranh luận, Tư Thoái giận, tâu rằng ông chỉ muốn làm đẹp tên tuổi, gây lầm lỡ việc lớn. Đế bèn nghe theo bọn Tư Thoái. Doãn Văn dâng ấn, lấy lý do 4 châu không thể bỏ, xin trí sĩ. Có chiếu cho làm Hiển Mô các Học sĩ (chức, chính tam phẩm) Tri Bình Giang phủ. Tư Thoái càng quyết tâm nghị hòa, cắt đi Đường, Đặng.

Năm thứ 2 (1164), quân Kim lại đến, Tư Thoái bị biếm, đế hối đã không dùng Doãn Văn. Trần Tuấn Khanh cũng cho rằng ông có thể đại dụng, nên được làm Đoan Minh điện Học sĩ (chức, chính tam phẩm), Đồng thiêm thư Xu mật viện sự (quan, chính nhị phẩm).

Năm Càn Đạo đầu tiên (1165), Doãn Văn về triều làm Tham tri chính sự (quan, chính nhị phẩm) kiêm Tri Xu mật viện sự (quan, chính nhị phẩm). Mùa thu, sứ Kim là Hoàn Nhan Trọng tỏ ra bất kính, ông xin chém đi, triều đình tranh luận rồi không dám thi hành. Gặp phải Tiền Đoan Lễ nhận của đút từ Lý Hoành là một chiếc đai ngọc, Ngự sử Chương Phục hặc ông là người chuyển giao chiếc đai này. Doãn Văn bị bãi chức, cho về quê nhà ở Thục. Về sau việc được làm rõ, Chương Phục bị biếm trích, nhưng ông không được phục chức ngay.